Міністерство освіти і науки України
Національний університет “Львівська політехніка”
РЕГРЕСІЙНИЙ АНАЛІЗ
МЕТОДИЧНІ ВКАЗІВКИ
з курсу “Математичні методи оптимального планування”
для студентів спеціальностей
8.080202 “Прикладна математика”
7.080204 та 8.080204 “Соціальна інформатика”
Затверджено
на засіданні кафедри
прикладної математики
Протокол № 3 від 15 жовтня 2009р.
Львів – 2009
Регресійний аналіз: Методичні вказівки з курсу “Математичні методи оптимального планування” для студентів спеціальностей 8.080202 “Прикладна математика”, 7.080204 та 8.080204 “Соціальна інформатика” / Укл.: І.П. Мединський, І.М. Задворняк. – Львів: Видавництво Національного університету “Львівська політехніка”, стор. 26.
Укладачі
Мединський І.П., канд. фіз.-мат. наук, доц.,
Задворняк І.М.,ас.
Відповідальні за випуск
Строчик М.М., канд. фіз.-мат. наук, доц.
Рецензент
Каленюк П.І., д-р фіз.-мат. наук, проф.
1. Знаходження МНК-оцінок
Нехай задано набір кількісних величин і результатів вимірів, які об’єднанні в матрицю емпіричних даних
,
де – вектор результатів вимірів, а – матриця плану експерименту.
Розглянемо задачу побудови функції , яка б проходила через всі задані точки . Якщо вимагати, щоб функція проходила через дві точки, то одержимо задачу побудови прямої лінії. В загальному випадку, тільки поліном високого порядку може пройти через усі точки, але на практиці потрібно відшукати відносно просту функцію (лінійну), яка із задовільною точністю апроксимує статистичну залежність. У загальній постановці задача опису емпіричної залежності за допомогою параметричної функції регресії полягає в тому, що задається функція, що визначена з точністю до кількох параметрів, які підбирають таким чином, щоб одержана функція з максимальною точністю відповідала емпіричним даним. Цю функцію називають емпіричною регресією. Після вибору типу функції необхідно знайти такі значення параметрів , за яких функція регресії буде досить добре, а можливо, і найкращим чином описувати емпіричні дані. Для розв’язування цієї задачі необхідно задати критерій, який би визначав ступінь відповідності емпіричних даних і регресійної залежності. Тобто необхідно враховувати відхилення між вимірами і значеннями функції регресії , .
Якщо позначити відхилення , , то
, (1)
де – точне значення випадкової величини, а – наближене значення випадкової величини, – вектор похибок, – вектор параметрів, – сукупність точок, в яких проводяться спостереження.
Формули (1) можна подати в матричній формі:
. (2)
Рівність (2) визначає вигляд функції регресії, а також те, яким чином входять похибки у модель спостережень. Природно вважати, що вектор розподілений за нормальним законом із параметрами , тобто , а . Для лінійної регресійної моделі використовуватимемо позначення .
У випадку, коли компоненти вектора є некорельованими і мають однакову дисперсію , модель має вигляд і називається класичною лінійною регресійною моделлю. Тут – одинична матриця порядку .
Використовуватимемо позначення для тих точок , в яких функція набуває найменшого значення (якщо воно існує).
Вектор
(3)
називається емпіричною оцінкою невідомих параметрів , отриманих за методом найменших квадратів або МНК-оцінкою. Термін емпірична МНК-оцінка підкреслює, що процедура знаходження МНК-оцінок для лінійної регресійної моделі, взагалі кажучи, не потребує додаткових припущень на вектор . Важливим є те, що для лінійної регресійної моделі МНК-оцінка є розв’язком лінійної системи рівнянь.
Лема 1. Вектор є розв’язком системи рівнянь
. (4)
Д о в е д е н н я.
Розглянемо функцію
. Ця функція визначена на і невід’ємна, а тому вона досягає мінімуму. Знайдемо мінімум функці...